演算法的選擇與評價

演算法準確性衡量

AI最主要的能力是預測與分類，AI比需要有高水準的精確度才可以從實驗室的玩具走向商業化與實用化，因此對於演算法精確度衡量，是演算法評估最重要的指標。

1. 混淆矩陣(Confusion Matrix)
   透過演算法所預測的分類與實際分類比較來顯示出機器預測的正確與錯誤(亦即混淆)程度的一種矩陣工具。
   ①TP(True Positive)與TN(True Negative)表示預測的結果與實際的結果一樣，是正確的預測。
   ②FP(False Positive)稱「偽陽性」又稱型一錯誤(Type One Error)指預測是陽性實際為陰性，也就是「預測有，其實沒有」，又稱「錯殺率」。
   ③FN(False Negative)稱「偽陰性」，指預測為陰性實際為陽性，也就是「預測沒有，其實有」，又稱「漏網之魚率」。

2. 準確性(Accuracy)
   衡量公式：Accuracy = TP + TN / TP + TN + FP + FN
   機器「正確」的預測(TP + TN)所佔有預測樣本的百分比。

3. 精確度(Precision)
   衡量指標：Precision = TP / TP + FP = 正確陽性的樣本 / 所有你預測為陽性的樣本
   也就是「你抓到的人中有幾個是真正的小偷」，也是一種「錯殺率」大小的概念。

4. 召回率(Recall)
   衡量指標：Recall☞TP / TP + FN = 你正確預測為陽性的樣本 / 所有陽性的樣本
   表示真正有陽性，但被錯誤判成沒有陽性的範本，或者說「那麼多的小偷你能抓到幾個？漏掉了多少？」。

5. F1值
   衡量指標：F1☞精確率 * 召回率 / 精確率 + 召回率
   同時考慮 精確度 與 召回率 求取一個平衡 錯殺率 與 漏網率 整合性正確指標，F1值利用兩者的調和平均數( 0~1 )表示AI模式的整體效能。

演算法模式錯誤衡量

除了準確率考量外，同時也有衡量演算法模式錯誤一偏失效率與信度的大小，來作為AI模式的重要指標。

1. 偏差與方差：偏差(Bias)表示不正確的程度，亦即預測值與真實值之間的差距，Bias愈高表示偏移真實值的程度愈大。方差(Variance)表示預測質的變化範圍與離散程度，Variance愈大數據分布愈分散。
   偏差愈小☞擬何能力愈強☞可能產生過度擬合；偏差愈大☞擬合能力愈差☞可能產生欠擬合。
   方差愈小☞模型泛化能力愈強；方差愈大☞模型泛化能力愈差。
   經驗誤差(Empirical Error)又稱訓練誤差(Training Error)☞模型訓練集上的誤差。
   泛化誤差(Generalization Error)☞模型在新樣本集(測試集)上的誤差。

2. 過度擬合(Ovfitting)與擬合不足(Underfitting)
   ①Overfitting：只能精確、緊密的匹配「訓練的樣本」，無法找到一個「通用的法則」例如一個學生讀了模擬考題以後，死記模擬考題的特殊形式題目而沒有真正瞭解數學的本質與通用法則，故在真正碰到學測時，對於非模擬考題的題目束手無策、無法解答。
   ②Unserfitting：過於簡單的模式(例如僅用傳統的線性迴歸)來預測太複雜的非線性真實情況，此時模式無法用少數的特徵來分析、辨別具備大量特徵的真實資料。

   • 解決「欠」擬合☞增加其他特徵項、增加多項式特徵、增加模型複雜程度、減小正規化特徵。
   • 解決「過」擬合☞重新清洗資料、增加訓練樣本數、降低模型複雜程度、增大正規化係數、採用捨棄法(Drop Out)、使用早停法(Early Stopping)、減少疊代次數、增大學習率、增加雜訊資料、在樹狀結構中，可對樹進行剪枝、減少特徵項。

演算法模式選擇的其他重要原則

1. 簡單容易解釋。
2. 異質資料處理能力：包括連續、離散、次數、聲音、圖像、視訊等，許多演算法尤其是計算距離遠近，包括KMM、SVM、迴歸分析等都需要資料最好是連續的數據；相反，例如決策樹、ANN則很容易處理各種非連續資料，深度學習則具備更大彈性。
3. 問題特徵數量。
4. 特徵相關性與互動性問題。
5. 問題複雜度與樣本數。
6. 所需要的精確度問題。
7. 模式定型時間。
8. 線性與非線性問題。
9. Overfitting問題。

參考資料
人工智慧-概念應用與管理　林東清著